Tree Testing - 2: Interpreting the Results 樹狀測試第二部分：解讀結果
樹狀測試是一種快速獲取量化資料的方法，用於評估資訊架構（IA）的類別和標籤是否清晰有效。本文著重於如何分析測試結果，以獲得深刻的設計洞察並最佳化導航標籤和結構。
樹狀測試 (Tree Testing)
樹狀測試透過任務評估導航架構的效能，生成量化資料。與思維發聲測試不同，樹狀測試通常是無主持的，參與者只需完成特定任務。
- 優點: 可快速從大量使用者中收集資料。
- 挑戰: 資料分析需系統化以發現趨勢並評估其重要性。
樹狀測試的指標 (Tree-Testing Metrics)
以下指標是解讀樹狀測試的關鍵：
- 成功率: 找到正確類別的使用者比例。
- 直接性: 直接進入正確類別的使用者比例，無需回退或嘗試其他類別。
- 用時: 使用者從開始到結束任務所花費的平均時間。
- 路徑資料: 包括每個類別的選擇頻率、首次點選和最終選擇。
工具: Treejack 和 UserZoom 是常用的樹狀測試工具，它們提供清晰的任務級別資料。
成功率：如何評估標準？ (Success Rates: What’s a Good Standard?)
計算成功率:
成功率衡量使用者是否正確完成任務。例如，100 名參與者中 67 名選擇了正確類別，則成功率為 67%。
評估標準:根據 Bill Albert 和 Tom Tullis 的研究，樹狀測試任務的成功率範圍如下：
- 差：<40%
- 尚可：41%-60%
- 良好：61%-80%
- 非常好：81%-90%
- 優秀：>90%
成功率的目標應根據任務的重要性調整。對於關鍵任務（如業務生成任務），目標應高於 90%。
示例:圖書館資訊任務: 成功率為 67%，處於“良好”範圍，但需改進。
食品援助任務: 成功率僅為 43%，任務較深（6 層），需與其他深層任務比較或最佳化標籤。
直接性與用時：衡量使用者努力 (Directness and Time Spent Are Measures of Effort)
直接性:直接性衡量使用者是否一次性進入正確類別。高成功率的任務如果需要使用者多次嘗試也可能是糟糕的體驗。
用時:用時表明使用者完成任務的難易程度。即使成功，如果耗時過長，可能說明任務過於複雜。
示例:某任務成功率為 74%，但僅 50% 的使用者直接找到正確答案，表明標籤不夠清晰。
路徑分析：從首次點選到最終選擇 (Pathways: First Clicks to Final Destinations)
首次點選:首次點選通常決定使用者的成敗。正確的首次點選能讓使用者快速找到答案，而錯誤的首次點選可能導致使用者迷失。
示例:在一個成功率僅為 20% 的任務中，正確類別僅獲得 14% 的首次點選，多數使用者錯誤選擇了其他類別。
改進建議:
- 首次點選分散: 如果使用者首次點選分散，應考慮重新組織架構或增加多重分類。
- 首次點選正確但成功率低: 可能是子類別標籤不夠清晰，應最佳化標籤。
查詢一個藝術節資訊的任務的首次點選和最終目的地：所有使用者都正確地點選了“娛樂”類別，但 35%的使用者選擇“藝術與文化”作為他們的最終目的地，而 22%的使用者選擇了“探索迷人之地”。只有 30%的使用者正確地選擇了“新墨西哥正在發生什麼”。這個結果表明這些同級子類別重疊過多。
多重分類（Polyhierarchy） (Polyhierarchy)
多重分類（交叉分類）可以解決使用者不同心智模型的問題，但過度使用可能導致資訊架構混亂。
評估多重分類的必要性:
- 如果某資源被多個父類別查詢，應考慮多重分類。
- 如果僅少量使用者查詢某路徑，則無需多重分類。
示例:在某任務中，三個正確路徑中兩條受歡迎，而第三條幾乎無人選擇。由此可知無需保留該路徑的多重分類。
多樹對比 (Comparing Multiple Trees)
多樹測試用於比較不同的資訊架構設計。
- 設計: 使用分組實驗（每位使用者僅測試一個樹狀結構）。
- 指標: 比較成功率、用時和直接性等指標。
統計分析:需手動計算顯著性差異。使用適當的統計檢驗：
- 二元成功率：N-1 2比例檢驗。
- 用時：t 檢驗或 ANOVA。
資料轉化為行動 (Turning Data into Action)
透過分析任務成功率、直接性和路徑資料，可制定最佳化方案：
- 首次點選分散: 增加多重分類或調整架構組織。
- 成功率低但首次點選正確: 最佳化子類別標籤。
- 用時長或路徑複雜: 簡化層級或改進類別名稱。